技术分享|如何使用Prometheus实现系统进程监控

如何监控线上正在运营的系统&＃xff1f;如何得知系统目前是正常还是异常&＃xff1f; Prometheus是这么一套数据监控解决方案。它能让运维及开发人员随时掌控系统的运行状态&＃xff0c;快速定位出现问题的位置&＃xff0c;快速排除故障。只要按照 Prometheus的方式来做&＃xff0c;按部就班地学习和部署&＃xff0c;我们就可以监控机器的 CPU、内存等资源的使用情况、应用程序的运行情况以及业务各项指标的实时数据。并且其与Grafana 配套使用可以呈现出非常多样化的图表配置。对于中小规模的团队来说&＃xff0c;可以极大地减少成本&＃xff0c;加快研发速度。

一、概述

初识Prometheus

Prometheus 是由 SoundCloud 开发的开源监控报警系统和时序列数据库。从字面上理解&＃xff0c;Prometheus 由两个部分组成&＃xff0c;一个是监控报警系统&＃xff0c;另一个是自带的时序数据库&＃xff08;TSDB&＃xff09;。

2016 年&＃xff0c;由 Google 发起的 Linux 基金会旗下的云原生计算基金会&＃xff08;CNCF&＃xff09;将 Prometheus 纳入作为其第二大开源项目。Prometheus 在开源社区也十分活跃&＃xff0c;在 GitHub 上拥有4万多 Star,差不多8K的Fork&＃xff0c;并且系统每隔一两周就会有一个小版本的更新。

Prometheus架构

从上图可以看到&＃xff0c;整个 Prometheus 可以分为四大部分&＃xff0c;分别是&＃xff1a;

Prometheus 服务器

Prometheus Server 是 Prometheus组件中的核心部分&＃xff0c;负责实现对监控数据的获取&＃xff0c;存储以及查询。

Process-exporter业务数据源

业务数据源通过 Pull/Push 两种方式推送数据到 Prometheus Server。

AlertManager 报警管理器

Prometheus 通过配置报警规则&＃xff0c;如果符合报警规则&＃xff0c;那么就将报警推送到 AlertManager&＃xff0c;由其进行报警处理。

可视化监控界面

Prometheus 收集到数据之后&＃xff0c;由 WebUI 界面进行可视化图标展示。目前我们可以通过自定义的 API 客户端进行调用数据展示&＃xff0c;也可以直接使用 Grafana 解决方案来展示。
Prometheus 的实现架构并不复杂。其实就是收集数据、处理数据、可视化展示&＃xff0c;再进行数据分析进行报警处理。但其珍贵之处在于提供了一整套可行的解决方案&＃xff0c;并且形成了一整个生态&＃xff0c;能够极大地降低我们的研发成本。

进程监控服务组件的搭建

下面我们介绍一下使用Prometheus实现进程监控我们需要搭建的组件&＃xff1a;Prometheus &＃43; Process-exporter &＃43; Grafana。由于目前是在内网验证阶段&＃xff0c; 所以三个组件均安装在同一台服务器上面&＃xff08;系统&＃xff1a;centos7.8&＃xff09;。

安装Prometheus

首先先去官网下载对应系统的版本。
下载后上传到部署的服务器&＃xff0c;解压&＃xff1a;

tar -vxf prometheus-2.40.5.linux-amd64.tar.gz


编辑系统服务启动文件

vi/usr/lib/systemd/system/prometheus.service
[Unit]
Description&＃61;prometheus
After&＃61;network.target
[Service]
Type&＃61;simple
ExecStart&＃61;/home/prometheus/prometheus/prometheus --config.file&＃61;/home/prometheus/prometheus/prometheus.yml --storage.tsdb.path&＃61;/home/prometheus/prometheus/data --storage.tsdb.retention&＃61;30d --log.level&＃61;info --web.external-url&＃61;http://192.168.1.108:9090
Restart&＃61;on-failure
[Install]
WantedBy&＃61;multi-user.target


保存后&＃xff0c;使用systemctl 启动/关闭 Prometheus服务

systemctl daemon-reload
systemctl enable prometheus
systemctl start prometheus


启动后&＃xff0c; Prometheus的web界面如下图所示

1.安装process-exporter

下载process-exporter

wget https://github.com/ncabatoff/process-exporter/releases/download/v0.7.10/process-exporter-0.7.10.linux-amd64.tar.gz


安装部署process-exporter

tar -xvf process-exporter-0.7.10.linux-amd64.tar.gz
mv process-exporter-0.7.10.linux-amd64 process-exporter


编写配置文件

cd process-exporter
vi config.yaml
process_names:
- name: "{{.Matches}}"
cmdline:
- &＃39;qtalk_api&＃39;
- name: "{{.Matches}}"
cmdline:
- &＃39;qtalk_user&＃39;
- name: "{{.Matches}}"
cmdline:
- &＃39;qtalk_auth&＃39;


编写启动脚本

vi /usr/lib/system/system/process-exporter.service
[Unit]
Description&＃61;process_exporter
After&＃61;network.target
[Service]
User&＃61;root
Type&＃61;simple
ExecStart&＃61;/home/prometheus/process-exporter/process-exporter -config.path /home/prometheus/process-exporter/config.yaml
Restart&＃61;on-failure
[Install]
WantedBy&＃61;multi-user.target


启动

systemctl daemon-reload
systemctl enable process-exporter
systemctl start process-exporter


验证

curl 192.168.1.108:9256/metrics


注意&＃xff1a;metrics中包含&＃xff1a;namedprocess_namegroup_num_procs{groupname&＃61;“map[:qtalk_api]”}即代表启动正确&＃xff0c;否则查询config.yaml配置是否正确。

配置Prometheus
在原prometheus.yml的末端添加下面配置

- job_name: &＃39;process&＃39;
static_configs:
-targets: [&＃39;192.168.1.108:9256&＃39;]


热加载Prometheus

./promtool check config prometheus.yml
systemctl reload prometheus.service


2.安装Grafana

wget https://dl.grafana.com/enterprise/release/grafana-enterprise-9.3.1-1.x86_64.rpm
sudo yum install grafana-enterprise-9.3.1-1.x86_64.rpm
systemctl start grafana-server.service


启动Grafana之后&＃xff0c;使用grafana的Web界面登录之后&＃xff0c;添加Prometheus的数据源&＃xff0c;然后导入Grafana的进程监控模版&＃xff08;https://grafana.com/grafana/dashboards/8378-system-processes-metrics/&＃xff09;&＃xff0c;即可查看process-exporter 配置的系统进程的运行情况&＃xff0c;如下图所示&＃xff1a;

通过Prometheus、Process-exporter、Grafana的相互配合&＃xff0c;这样服务器上面运行的每一个进程的状态都可以进行图形化展示&＃xff0c;再配合上Prometheus的报警通知功能&＃xff0c;便于系统运维及开发人员及时了解系统运行状况&＃xff0c;及时做出资源调整&＃xff0c;保障系统的高可用。

下一篇文章将介绍如何使用报警组件进行报警规则匹配及邮件、钉钉、企业微信的通知。

参考文档

prometheus
process-exporter
Prometheus — Process-exporter进程监控